Partially Observable Total-Cost Markov Decision Processes with Weakly Continuous Transition Probabilities

This paper describes sufficient conditions for the existence of optimal policies for partially observable Markov decision processes (POMDPs) with Borel state, observation, and action sets, when the goal is to minimize the expected total costs over finite or infinite horizons. For infinite-horizon problems, one-step costs are either discounted or assumed to be nonnegative. Action sets may be noncompact and one-step cost functions may be unbounded. The introduced conditions are also sufficient for the validity of optimality equations, semicontinuity of value functions, and convergence of value iterations to optimal values. Since POMDPs can be reduced to completely observable Markov decision processes (COMDPs), whose states are posterior state distributions, this paper focuses on the validity of the above-mentioned optimality properties for COMDPs. The central question is whether the transition probabilities for the COMDP are weakly continuous. We introduce sufficient conditions for this and show that the transition probabilities for a COMDP are weakly continuous, if transition probabilities of the underlying Markov decision process are weakly continuous and observation probabilities for the POMDP are continuous in total variation. Moreover, the continuity in total variation of the observation probabilities cannot be weakened to setwise continuity. The results are illustrated with counterexamples and examples

Convergence of equilibria for numerical approximations of a suspension model

In this paper we study the numerical approximations of a non-Newtonian model for concentratedsuspensions. First,weprovethattheapproximativemodelspossessauniquefixedpointandstudy theirconvergencetoastationarypointoftheoriginalequation. Second, we implement an implicit Euler scheme, proving the convergence of these approximationsaswell. Finally,numericalsimulationsareprovided

Потраекторное поведение класса управляемых пьезоэлектрических полей с немонотонным потенциалом

Досліджено автономне включення другого порядку в обмеженій області, що моделює поведінку класу керованих п’єзоелектричних полів з немонотонним потенціалом. Досліджувана система описує не лише керований п’єзоелектричний процес з багатозначним законом “реакції-зміщення”, а й широкий клас керованих процесів механіки суцільних середовищ. Умови на параметри задачі не гарантують єдиності розв’язку відповідної задачі Коші, зокрема, не припускається жодних умов щодо неперервності, монотонності нелінійного доданку за фазовою змінною. Вивчено динаміку слабких розв’язків досліджуваної задачі в сенсі теорії глобальних і траєкторних атракторів для багатозначних напівпотоків, породжених слабкими розв’язками цієї задачі. Застосовуючи відомі абстрактні результати щодо існування траєкторного атрактора в просторі траєкторій, було доведено, що для розв’язків розглянутої еволюційної задачі існує траєкторний атрактор у розширеному фазовому просторі, досліджено його структурні властивості, встановлено його зв’язок з глобальним атрактором та простором повних траєкторій поставленої задачі. Отримані результати застосовано до математичної моделі, що описує динаміку п’єзоелектричного процесу.The autonomous second order inclusion in a bounded domain, which is modeling the behavior of a class of the controlled piezoelectric fields with nonmonotonous potential, is studied. The investigated system describes not only controlled piezoelectric process with multivalued law “reaction-displacement”, but a wide class of controlled processes of Continuum Mechanics. Conditions on the parameters of the problem do not guarantee the uniqueness of solution of the corresponding Cauchy problem. In particular, any conditions on continuity, monotony of the nonlinear term by a phase variable are not assumed. We study the dynamics of weak solutions of the investigated problems in terms of the theory of trajectory and global attractors for multivalued semiflows generated by weak solutions of given problem. By using the well-known abstract results on the existence of trajectory attractor in the space of trajectories, we show the existence of trajectory attractor in the extended phase space for solutions of the considered evolution problem. Its structural properties are studied. Its relationship with the global attractor and space of complete trajectories is provided. Obtained results are applied to the mathematical model which describes the dynamics of the piezoelectric process.Исследовано автономное включение второго порядка в ограниченной области, моделирующее поведение класса управляемых пьезоэлектрических полей с немонотонным потенциалом. Исследуемая система описывает не только управляемый пьезоэлектрический процесс с многозначным законом “реакции-перемещения”, но и широкий класс управляемых процессов механики сплошных сред. Условия на параметры задачи не гарантируют единственности решения соответствующей задачи Коши, в частности, не предполагается никаких условий относительно непрерывности, монотонности нелинейного слагаемого по фазовой переменной. Изучена динамика слабых решений исследуемой задачи в смысле теории глобальных и траекторных аттракторов для многозначных полупотоков, порожденных слабыми решениями данной задачи. Применяя известные абстрактные результаты относительно существования траекторного аттрактора в пространстве траекторий, доказано, что для решений рассмотренной эволюционной задачи существует траекторный аттрактор в расширенном фазовом пространстве, исследованы его структурные свойства, установлена его связь с глобальным аттрактором и пространством полных траекторий поставленной задачи. Полученные результаты применены к математической модели, описывающей динамику пьезоэлектрического процесса

Задача Коши для эволюционных включений с отображениями типа Sk

Одержано загальну теорему про існування розв’язків для широкого класу операторних включень, у тому числі ті, які породжуються відображеннями типу Sk. Результат застосовано до деякого окремого прикладу. Теорему доведено за допомогою методу Фаедо-Гальоркіна.For a large class of operator inclusions, including those generated by maps of Sk type, we obtain a general theorem on existence of solutions. We apply this result to some particular examples. This theorem is proved using the method of Faedo-Galerkin.Получена общая теорема о существовании решений для широкого класса операторных включений, в том числе те, которые порождаются отображениями типа Sk. Результат применен к некоторому частному примеру. Теорема доказана с помощью метода Фаэдо-Галеркина

Автоматическое управление с обратной связью для одного класса контактных пьезоэлектрических задач

Досліджено динаміку розв’язків еволюційного включення другого порядку з розривною функцією взаємодії, яка може бути представлена у вигляді різниці субдиференціалів. Цей випадок є актуальним для задач автоматичного управління зі зворотнім зв’язком. Розглянуто математичну модель контактного п’єзоелектричного процесу між п’єзоелектричним тілом та опорою, і для неї досліджено довгострокову поведінку функції стану. Введено апріорні оцінки для слабких розв’язків даної задачі в фазовому просторі. Доведено теорему про існування глобального атрактора для багатозначного напівпотоку, породженого слабкими розв’язками задачі, та про структурні властивості граничних множин. Основні результати було застосовано до досліджуваної п’єзоелектричної задачі.In this paper we investigate the dynamics of solutions of the second order evolution inclusion with discontinuous interaction function which can be represented as the difference of subdifferentials. This case is actual for feedback automatic control problems. In particular, we consider mathematical model of contact piezoelectric process between a piezoelectric body and a foundation and for this problem investigate the long-term behavior of state function. We deduce a priory estimates for weak solutions of studied problem in the phase space. The theorem on the existence of a global attractor for multi-valued semiflow generated by weak solutions of the problem and the structural properties of the limit sets is proved. The main results of the paper were applied to the investigated piezoelectric problem.Исследована динамика решений эволюционного включения второго порядка с разрывной функцией взаимодействия, которая может быть представлена в виде разности субдифференциалов. Данный случай является актуальным для задач автоматического управления с обратной связью. Рассмотрена математическая модель контактного пьезоэлектрического процесса между пьезоэлектрическим телом и опорой, и для нее исследовано долгосрочное поведение функции состояния. Выведены априорные оценки для слабых решений рассматриваемой задачи в фазовом пространстве. Доказана теорема о существовании глобального аттрактора для многозначного полупотока, порожденного слабыми решениями задачи, и о структурных свойствах предельных множеств. Основные результаты были применены к исследуемой пьезоэлектрической задаче

Neuronal Chemokines: Versatile Messengers In Central Nervous System Cell Interaction

Whereas chemokines are well known for their ability to induce cell migration, only recently it became evident that chemokines also control a variety of other cell functions and are versatile messengers in the interaction between a diversity of cell types. In the central nervous system (CNS), chemokines are generally found under both physiological and pathological conditions. Whereas many reports describe chemokine expression in astrocytes and microglia and their role in the migration of leukocytes into the CNS, only few studies describe chemokine expression in neurons. Nevertheless, the expression of neuronal chemokines and the corresponding chemokine receptors in CNS cells under physiological and pathological conditions indicates that neuronal chemokines contribute to CNS cell interaction. In this study, we review recent studies describing neuronal chemokine expression and discuss potential roles of neuronal chemokines in neuron–astrocyte, neuron–microglia, and neuron–neuron interaction

Задача Коші для еволюційних включень з відображеннями типу Sk

For a large class of operator inclusions, including those generated by maps of Sk type, we obtain a general theorem on existence of solutions. We apply this result to some particular examples. This theorem is proved using the method of Faedo-Galerkin.Получена общая теорема о существовании решений для широкого класса операторных включений, в том числе те, которые порождаются отображениями типа Sk. Результат применен к некоторому частному примеру. Теорема доказана с помощью метода Фаэдо-Галeркина.Одержано загальну теорему про існування розв’язків для широкого класу операторних включень, у тому числі ті, які породжуються відображеннями типу Sk. Результат застосовано до деякого окремого прикладу. Теорему доведено за допомогою методу Фаедо-Гальоркіна

Multivalued penalty method for evolution variational inequalities with λ0-pseudomonotone multivalued maps

We consider evolution variational inequalities with λ 0-pseudomonotone maps. The main properties of these maps are investigated. By using the finite-difference method, we prove the property of strong solvability for the class of evolution variational inequalities with λ 0-pseudomonotone maps. Using the penalty method for multivalued maps, we show the existence of weak solutions of evolution variational inequalities on closed convex sets. The class of multivalued penalty operators is constructed. We also consider a model example to illustrate this theory